JavaScript 实现简单的神经网络算法

原文地址:http://www.codeceo.com/article/javascript-neural-network.html

神经网络简介

神经网络试图模拟大脑的神经元之间的关系来处理信息。它的计算模型通常需要大量彼此连接的节点。每个神经元通过某种特殊的输出函数来处理来自其它相邻神经元的加权输入值。

神经元之间的信息传递的强度,用所谓的加权值来定义,算法会不断的调整加权值来实现自我的学习过程。

1

神经网络分为多层,如上图,有输入层,隐藏层和输出层。

JS线性代数包

神经网络的计算涉及到大量的矩阵计算,有许多的线性代数的开源的软件,Python下有著名的numpy,非常有名。 Javascript也有几个:

我使用了numericjs,效果还不错。推荐大家可以试试。

两层神经网络

我们有一些简单的输入输出的数据用来训练神经网络。这里每一行代表一条数据。输入有三个参数,输出是一个。

Inputs 0 Inputs 1 Inputs 2 Output
0 0 1 0
1 1 1 1
1 0 1 1
0 1 1 0

首先我们实现一个最简单的神经网络,没有隐藏层,输入直连输出。

2

因为输入是三个参数,输出是一个,所以我们的神经网络输入层是三个节点,输出是1个。

// Sigmod function
function nonlin(x, deriv) {
  if (deriv) {
    return numeric.mul(x, numeric.sub(1, x));
  }

  return numeric.div(1, numeric.add(1, numeric.exp(numeric.neg(x))));
}

function train_neural(X, y, iteration) {
  // initialize weights
  var syn0 = numeric.sub(numeric.mul(2, numeric.random([3, 1])), 1);
  //Training loop
  var i = 0;
  for (; i < iteration; i++) {
    var l0 = X;
    var l1 = nonlin(numeric.dot(l0, syn0));
    var l1_error = numeric.sub(y, l1);
    var l1_delta = numeric.mul(l1_error, nonlin(l1, true));
    syn0 = numeric.add(syn0, numeric.dot(numeric.transpose(l0), l1_delta));
    } 
  }
}

//Initial input/ouput values
var X = [
  [0, 0, 1],
  [0, 1, 1],
  [1, 0, 1],
  [1, 1, 1]
];

var y = [
  [0],
  [0],
  [1],
  [1]
];

train_neural(X, y, 1000);

简单介绍一下训练的代码和过程

  • X 输入数据
  • y 输出数据
  • nonlin, S函数
  • l0,网络第一层,这是等于输入数据
  • l1,网络第二层,这里就是输出层
  • syn0,第一层网络的权重

训练的迭代过程就是先给出一个初始的权重,利用这个权重算出一个输出值,用目标结果减去这个值,得到一个差异值,再利用这个差异值对权重进行修正。

1000次迭代后的网络输出: [0.03,0.02, 0.979, 0.974]

1000次迭代后的syn0权重值: [7.266,-0.221,-3.415]

这里我们发现第一个节点的权重较大,这个和我们的数据是一致的,通过观察数据我们也可以发现,输出值和第一列的输入值是强相关。如果增加迭代的次数,这个值会更大。

三层神经网络

Inputs 0 Inputs 1 Inputs 2 Output
0 0 1 0
0 1 1 1
1 0 1 1
1 1 1 0

现在我们有了一组新的数据,通过观察发现,第三列和结果完全无关,第一列和第二列相同时结果为0,否则为1。这是一种非线性的关系,为了有效学习我们增加一层,网络变成了这个样子。

3

// Sigmod function
function nonlin(x, deriv) {
  if (deriv) {
    return numeric.mul(x, numeric.sub(1, x));
  }

  return numeric.div(1, numeric.add(1, numeric.exp(numeric.neg(x))));
}

function train_neural(X, y, iteration) {
  // initialize weights
  var syn0 = [
    [-0.1653904, 0.11737966, -0.71922612, -0.60379702],
    [0.60148914, 0.93652315, -0.37315164, 0.38464523],
    [0.7527783, 0.78921333, -0.82991158, -0.92189043]
  ];

  var syn1 = [
    [-0.66033916],
    [0.75628501],
    [-0.80330633],
    [-0.15778475]
  ];

  //Training loop
  var i = 0;
  for (; i < 1000; i++) {
    var l0 = X;
    var l1 = nonlin(numeric.dot(l0, syn0));
    var l2 = nonlin(numeric.dot(l1, syn1));
    var l2_error = numeric.sub(y, l2);
    var l2_delta = numeric.mul(l2_error, nonlin(l2, true));
    var l1_error = numeric.dot(l2_delta, numeric.transpose(syn1));
    var l1_delta = numeric.mul(l1_error, nonlin(l1, true));
    syn1 = numeric.add(syn1, numeric.dot(numeric.transpose(l1), l2_delta));
    syn0 = numeric.add(syn0, numeric.dot(numeric.transpose(l0), l1_delta));
  }
}

//Initial input/output values
var X = [
  [0, 0, 1],
  [0, 1, 1],
  [1, 0, 1],
  [1, 1, 1]
];

var y = [
  [0],
  [1],
  [1],
  [0]
];

train_neural(X, y, 1000);

训练的过程和之前的两层差别不大,只是多了一层。通过增加的这一层,可以有效的学习数据中的复杂非线性的关联关系。

经过1000次迭代, 输出值为:[0.02,0.95,0.94,0.05]

syn0 :

4

如果大家对训练的过程有兴趣,可以运行我的code



  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
JavaScript的卷积神经网络(Convolutional Neural Network,CNN)是一种在神经网络领域被广泛应用的模型。CNN主要应用于图像和视频识别、处理任务中。下面将从原理、应用和实现方面简要介绍JavaScript中的卷积神经网络。 卷积神经网络是一种模拟人类视觉系统运作方式的算法。它通过模拟神经元之间的连接来提取输入图像的特征。CNN的核心概念是卷积层和池化层。卷积层使用一组可学习的滤波器对输入进行卷积操作,提取局部特征。池化层用于降采样,减少特征图的大小,增强模型的鲁棒性。随后通过全连接层将提取到的特征映射到输出层。 JavaScript作为一种基于网页的脚本语言,在实现CNN时可以利用现有的深度学习库和工具。例如,TensorFlow.js一个用于在Web浏览器中进行机器学习的JavaScript库,它允许我们在JavaScript中构建和训练卷积神经网络模型。通过TensorFlow.js,我们可以加载预训练的模型或自行构建模型,并使用卷积层、池化层等操作来处理图像数据。 在应用方面,CNN在图像识别、物体检测、人脸识别等任务中表现出色。通过在JavaScript实现CNN,我们可以在Web应用中进行图像分类和实时图像处理。例如,利用摄像头获取的图像流,我们可以使用已训练好的卷积神经网络模型来实时对图像进行分类,识别出物体种类或人脸特征。 总之,JavaScript中的卷积神经网络是一种强大的机器学习模型,用于处理图像数据,借助TensorFlow.js等深度学习库和工具,在Web应用中可以实现图像分类、实时图像处理等功能。 JavaScript的卷积神经网络在人工智能领域有着广泛的应用前景。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值